APort Vault: Benchmarking AI Agent Payment Authorization with the Open Agent Passport
APort Vault:基于 Open Agent Passport 的 AI 智能体支付授权基准
🧭 Agent 工具调用授权与安全评估
APort Technologies Inc.
回放 4371 条人类攻击,证明确定性预执行检查可将未授权支付转账从 140 次降至 0 次
📌 工作参考价值(4 点)
- 在 Agent 执行支付、退款、优惠券发放等高风险工具调用前,增加一个确定性的预执行策略层(如 Open Agent Passport),用白名单校验接收方/账户,而不是依赖 LLM 自身的判断,可显著降低越权操作。
- 评估 Agent 安全或工具调用时,不要只统计“请求率”或“成功率”,应分解为请求、成功支付、授权决定、成员资格、未授权转账等多个事件,否则指标会掩盖真正的失败模式。
- 攻击回放与分层 policy 配置(Level 1-4)的思路可迁移到电商 Agent 测试集构建:按风险等级设计不同允许操作范围,在不同配置下回放攻击,并公开数据集以复现结果。
- 业务中更应投入精力设计清晰的授权边界和确定性执行,而非单纯比较 LLM 能力:本研究发现请求率差异主要来自 policy 配置而非模型本身。